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基于 答 阵 补 全 的 自 适 应 去 雨 雪 算 法 
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(贵州 民族 大 学 a. 数 据 科 学 与 信息 工程 学 ; b. 工 程 技术 人 才 实 践 训练 中 心 , 贵阳 550025) 


摘 要 : 传统 的 去 除 雨 雪 的 方法 通常 没有 考虑 参数 的 自 适应 问题 。 为 了 提高 视频 去 雨 去 雪 的 效果 ， 在 Kim Z 28946 
阵 补 全 模型 中 添加 了 一 个 自 适应 参数 并 提出 了 基于 矩阵 补 全 的 自 适 应 去 雨 雪 算法 。 首先 , 简要 地 描述 Kim 方法 的 主 
要 工作 ; 其 次 ， 把 自 适应 参数 添加 到 经 典 的 Kim 模型 的 第 二 项 ; 最 后 ,使 用 各 种 雨 雪 视 频 验 证 了 该 参数 的 有 效 性 及 
优异 性 ， 并 使 用 网 格 搜 索 法 找到 去 雨 效果 最 好 的 参数 。 实 验 结果 表明 ， 添 加 的 自 适 应 参数 能 够 有 效 地 去 除 视频 中 的 
雨 和 雪 。 
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中 图 分 类 号 : TP391.41 doi: 10.19734/j.issn.1001-3695.2018.10.0854 


Adaptive deraining and desnowing algorithm based on matrix completion 


Tian Wenying?, Huang Chengquan"', Ran Longcaia 
(a. School of Data Science & Information Engineering, b. Engineering Training Center, Guizhou Minzu University, Guiyang 
550025, China) 


Abstract: The traditional methods of deraining and desnowing usually have not considered the parameter adaptive problem. 
In order to improve the effect of video deraining and desnowing, this paper added an adaptive parameter to the matrix 
completion model of Kim method and proposed an adaptive deraining and desnowing algorithm based on matrix completion. 
First, this paper introduced the main work of Kim method. Second, the proposed algorithm added the adaptive parameter to 
the second term of the classic Kim model. Finally, this paper used various rain and snow videos to verify the validity and 
superiority of the parameter, and applied the grid-search method to find the parameter with the best rain removal effect. 
Experimental results show that the added adaptive parameter can effectively remove rain and snow from the videos. 

Key words: video deraining and desnowing; rain streak removal; the adaptive parameter; sparse representation; matrix 
completion 


0 引言 机 知识 ,并 使 用 基于 块 的 高 斯 混合 (P-MoG ) 来 制定 它 .P-MoG 
S 模型 在 各 种 视频 的 雨 线 去 除 任务 中 都 具有 良好 的 性 能 。 但 是 ， 

视频 图 像 去 雨 去 雪 是 数字 图 像 处 理 和 计算 机 视觉 中 研究 ” 当 测 试 视频 具有 快速 移动 的 运动 对 象 时 ， 该 方法 则 无 法 去 除 

的 重要 问题 ， 广 泛 应 用 于 视频 监控 、 智 能 交通 和 军事 侦察 等 所 有 的 雨 线 ， 甚 至 会 出 现 模 糊 的 结果 。Li 等 人 中 提取 了 两 线 
领域 。 在 不 良 天 气 中 获取 视频 图 像 信息 时 ， 成 像 系 统 会 受到 ”的 两 个 内 在 特征 ， 即 为 稀疏 地 散布 在 视频 和 多 尺度 结构 的 不 
雾 、 考 、 两 、 雪 等 不 良 天 气 的 影响 ， 这 将 会 导致 图 像 对 比 度 。 同位 置 的 重复 局 部 模式 ， 并 将 这 两 个 内 在 特征 表述 为 多 尺度 
降低 ， 图 像 模糊 以 及 图 像 重 要 信息 丢失 等 。 从 而 也 降低 了 视 。” 卷 积 稀疏 代码 (MS-CSC)。MS-CSC 模型 通常 将 雨 层 分 解 为 
频 图 像 后 续 分 析 和 处 理 的 准确 性 和 可 靠 性 43。 近年 来 ， 随 着 有 物理 意义 的 不 同 级 别 的 雨 线 。MS-CSC 方法 对 于 静态 场 
计算 机 硬件 性 能 的 提高 ， 大 数据 的 普及 以 及 视频 图 像 应 用 的 ” 景 简单 有 效 ， 但 如 果 测 试 视频 具有 复杂 的 运动 对 象 或 具有 明 


Sb 


E 广 ， 越 来 越 多 的 研究 工作 者 开始 关注 视频 图 像 去 雨 去 雪 的 。 显 的 晃动 ， 则 会 导致 图 像 模 糊 ， 并 且 降 低 图 像 的 对 比 度 。 然 
应 用 与 研究 。 在 视频 图 像 去 雨 技 术 研 究 进展 一 文中 1 描述 了 ”而 ， 由 于 背景 的 复杂 性 ， 雨 雪 的 形态 特征 、 运 动 速度 、 雨 线 
大 量 的 雨 线 去 除 方法 与 研究 进展 ， 可 见 视频 图 像 去 雨 已 经 成 ” 或 雪线 的 密集 程度 以 及 风向 等 因素 的 干扰 ， 视 频 图 像 去 南 去 
为 研究 工作 者 广泛 关注 的 一 个 焦点 问题 。Kim 等 人 外 提出 了 雪 在 实际 应 用 中 仍 面临 着 许多 问题 。 此 外 ， 雨 雪 天 气 的 动态 

种 基于 时 空 相关 性 和 低 秩 和 矩阵 补 全 的 视频 去 雨 去 雪 算 法 复杂 性 和 拍摄 场景 的 差异 性 也 为 雨 雪 的 去 除 带 来 了 巨大 的 技 


(为 了 便于 描述 ， 该 算法 简称 为 Kim 方法 )。Kim 方法 能 术 挑 战 。 因 此 ， 在 视频 图 像 去 雨 去 雪 的 应 用 研究 中 仍 有 许多 
有 效 地 检测 并 去 除 雨 线 和 雪线 。Tian 等 人 四 应 用 雪花 去 除 场 ”亟待 解决 的 问题 。 
景 的 全 局 和 局 部 属性 来 去 除 视频 中 的 雪花 ,该 方法 使 用 雪花 针对 上 述 问 题 ， 本 文 提 出 了 一 种 基于 和 矩阵 补 全 的 自 适应 
的 相关 特征 将 雪花 和 其 他 运动 对 象 分 开 ， 然 后 提出 了 一 种 基 ”去 雨 雪 算 法 。 该 方法 在 Kim 方法 的 基础 上 进行 改进 ， 由 于 
于 低 秩 分 解 的 雪花 去 除 方法 。Wei 等 人 四 介绍 了 一 种 简单 而 Kim 方法 没有 考虑 参数 的 自 适 应 问题 ， 所 以 本 文 主要 针对 该 
精炼 的 模型 用 于 去 除 视频 中 的 雨 线 ,该 方法 将 雨 线 编码 为 随 ” 问题 进行 研究 。 在 本 文中 使 用 “ 雨 ”表示 雨 和 雪 ， 因 为 去 雨 的 
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录用 定稿 


DLR, F: 基于 抵 阵 补 全 的 自 适应 去 雨 雪 算法 


方法 同样 适用 于 去 雪 ， 反 之 亦 然 。 


1 ”预备 知识 
本 文 在 经 


的 Kim 


模型 中 添加 了 一 个 自 适应 参数 ,六 


FIR 


使 用 


值 标记 为 
1.1 初始 雨 图 提取 


Kim 方法 应 用 光 流 估计 算法 来 获取 初始 十 图， 这 是 1 
光 流 估计 算法 可 以 在 两 个 连续 帧 之 间 找 到 密集 的 运动 场 [ 
然后 ，Kim 方法 通过 估计 光 流 场 将 前 
样 可 以 补偿 连续 帧 中 不 匹配 的 信息 。 


据 Kim 方法 提取 雨 图 和 优化 十 图 的 原理 来 获取 初始 雨 
精确 十 图 。 首 先 基于 光 流 估计 算法 名 获取 初始 
图 ， 并 应 用 稀 玻 表示 技术 外 将 初始 
SVM 分 类 器 00 将 基 向 量 分 为 雨 线 和 异常 值 两 大 类 。 最 
后 通过 去 除 异 常 值 来 优化 初始 雨 图 ， 


个 二 进 制 矩阵 。 


&| fH 
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[R - DA|. (6) 


图 分 


Ez 


于 图 或 初始 雪 
解 为 基 向 量 。 然 


EE 


34 PN WR s FEIN BR 


贞 扭 曲 到 当前 帧 ， 这 


其 中 ，4 是 px 的 系数 矩阵 。 假 设 4 是 稀 琉 的 ，Kim 方法 通 
过 求解 优化 问题 7) 得 到 最 优 系数 矩阵 人: 
A =argmin{Z R- DAB + plAl |. 0) 
HH: p=0.15。 
正 交 匹 配 追踪 Us 用 于 寻找 稀 玻 系数 ， 其 重复 选择 基 向 量 
以 产生 具有 残余 信号 的 最 大 内 积 。 在 将 字典 D 中 的 基 向 量 划 
分 为 雨 线 和 异常 值 后 ，Kim 方法 仅 使 用 雨 线 来 重建 无 十 图 。 


Kim 方法 应 用 核 回 归 方法 09 分 析 基 于 奇异 值 分 解 (SVD) 的 
块 结 构 ， 
使 用 像素 x 的 梯度 值 来 计算 协 方差 矩阵 C. : 


找到 每 个 块 中 强度 分 布 的 最 佳 匹配 核 。Kim 方法 


Ci; = 


1 E (8) 


elu 


为 一 个 最 小 化 问题 ， 其 中 能 量 函 数 


E(U)- E,(U) 


下 式 给 出 : 


AE, (U) 


= fw(Gs Geop - 1,00) + Af v (Iv OVE Yar, 


其 中 : U 是 光 流 域 ; 


数 ， 且 wz) = Vxa +2, £-0001; 


4 是 正则 化 参数 ， 此 处 4=1; 
u(x) 是 像素 x 的 光 流 向 量 ; 


V 


光 流 估计 通常 可 以 表述 


(1) 


[si 


i ERI 


E, 


是 数据 项 ， 用 来 衡量 图 片 帧 二 和 目标 帧 二 相 应 像素 点 的 相似 
度 ; 已 是 平滑 项 , 将 相 邻 像素 约束 为 相似 ; Vu) 表示 w(x) 的 


梯度 。 
给 定 图 片 帧 : Zi， 
相应 地 定义 扭 


前 帧 jf™(x) 和 扭 


L, L4, XS X (2) M G) 可 以 


EW iw: 


Pe) = 1, (xu). 


Tp (x) = La (x up Qo), 


H. rH 


Kim 方法 尝试 选 出 


一 个 像素 分 配 一 个 二 进 


L(x)= 


tr: wha) 是 像素 x 从 i 到 天 的 光 流 向 量 ; 
素 x Jun 81 ra 的 光 流 向 量 。 
与 当前 帧 的 原始 像素 值 (x) 更 为 相 
似 的 像素 值 ， 并 将 该 选择 描述 为 一 个 标签 ， 


Q) 
(3) 


upe (x) 是 f 


‘ WIS e GOg GO 220) 
其 中 : W 是 对 应 于 字典 D 中 第 i 个 基 向 量 的 块 ; W| 表示 W 的 
大 小 ; gs(x) 和 g,(x) 是 像素 x 沿 水 平方 向 和 垂直 方向 的 梯度 
值 。 
Kim 方法 将 SVD 应 用 于 协 方差 矩阵 C; 264) Wr W 内 核 的 
结构 和 方向 。 
a" malo alea mal 


其 中 : 6 是 转动 角 ; u 和 分 别 表示 核 尺 度 沿 主轴 和 次 轴 的 


Kim 方法 使 用 3072 个 
由 异常 值 向 量 构 成 的 负 样 本 。 然 后 , Kim 方法 对 初始 雨 图 R 进 


两 个 特征 值 。 


Kim 方法 应 用 SVM 分 类 器 进行 分 类 ， 为 了 训练 SVM, 
有 效 基 向 量 构成 的 正 样本 和 3072 个 


行 优化 得 到 一 个 更 精确 的 雨 图 上 用。 在 SVM 分 类 之 后 
方法 | 
新 字 
构成 新 的 矩阵 枣 。 


D 中 的 所 有 异常 值 向 量 以 获得 
b 与 最 优 系数 矩阵 A 相 乘 来 


] 零 向 量 蔡 换 原 始 字典 
kp. AIE, 通过 将 新 字 


R=DA:. 
最 后 ，Kim 方法 通过 (11)〉 从 优化 的 雨 图 让 中 生成 一 个 


HERZ 1(x) : 
1 ya 
Tr (x), if 1(x)=1. 


通过 式 (4) 向 每 


(4) 


最 后 ，Kim 方法 通过 (5 ) 获得 初始 雨 图 R 作为 当前 帧 L 


和 最 佳 扭 


帧 到 间 的 差异 图 像 ; 


R(x) = max (1, (x) - I, (x),0}. 


1.2 雨 图 优化 


为 了 获得 更 精准 的 雨 图 ， 
化 初始 雨 图。 在 闪 值 之 前 优化 初始 十 图 可 以 
Kim 方法 对 优化 后 的 初始 雨 民 


值 并 可 靠 地 检测 有 效 


雨 线 。 


Kim 方法 通过 去 除 异 常 值 来 优 
有 效 地 抑制 异常 


(5) 


HIT BUR ABI —3E8 


始 十 图 。 形 态 成 分 分 析 


号 分 解 为 基 向 量 ， 然 后 仅 使 用 选择 的 基 向 量 来 重建 信号 。 
时 ， 稀 朴 表示 技术 可 以 有 效 地 消除 


R 


HEER. UP. RIER BET DA 
S E HU ERI RE HE 
Kim 方法 利用 雨 线 的 方向 特征 和 形态 特征 进一步 优化 初 


二 进 制 雨 掩 模 Mm o 


1 ifRQ)5££-8, 


I 0 otherwise. (D 
1.8 MAAR 
Kim 方法 把 视频 去 雨 视 为 一 个 低 秩 和 矩阵 补 全 问题 首先， 


将 当前 帧 去 分 解 为 互 不 相交 的 块 。 然 后 ， 对 于 每 一 个 块 2 ， 
Kim 方法 从 当前 帧 1 的 四 个 连续 相 邻 帧 ; Lo， Te， Tr， e 
中 的 每 一 帧 中 都 搜索 出 与 块 b 相似 的 1 个 块 。 最 后 ， 通 过 连 


谱 当 前 帧 中 的 给 定 块 5 和 其 相 邻 帧 中 最 相似 的 4 个 块 5 来 构 


造 一 个 不 完全 矩阵 。 


B=[b,b,b,,...,by]. (12) 


Jobs b Æ h 分解 后 的 任意 一 个 块 ,矩阵 8 中 每 列表 示 一 个 块 。 


Kim 方法 为 矩阵 B 定 义 了 一 个 二 进 制 雨 掩 模 和 矩阵 M , | 


(MCA) 0259 基 于 稀 玻 表示 将 给 定 信 


同 


雨 线 中 重 受 的 异常 值 。 给 


定 具有 7 个 像素 的 初始 十 图 R ， 并 且 在 每 个 像素 周围 考虑 一 


个 大 小 为 


下 式 给 出 ; 
M = [m,m,m,,...,ma], (13) 
其 中 : 矩阵 M 中 的 向 量 由 (11) 中 相应 的 二 进 制 雨 掩 模 值 组 


成 ， 并 相应 地 表示 为 列 向 量 。 


Kim Jj iX H RIRE EET A BURUT 591 Jo se ABER B 


中 找到 一 个 补 全 和 矩阵 ,这 个 期 望 的 补 全 和 矩阵 应 该 最 小 化 


的 块 ， 构 造 一 个 mxn 的 矩阵 R， 每 一 列 代表 


块 。 选 定 的 基 向 量 可 
过 完备 字 


示 求 解 04， 


以 通过 字 
DeR""(p»m), ， 过 完备 字典 也 由 维 
基 向 量 组 成 。 然 后 尝试 对 


di 


4 进行 稀 政 表示 ， 即 构造 一 个 
度 为 m 的 Pp 个 


闻 典 进行 迭代 更 新 


， 并 进行 稀 玖 表 


受到 以 下 约束 的 核 范 数 1Xl: 


Q-M)«X =(1-M)»B, (14) 


其 中 : 7 是 元 素 都 为 1 WIERE; 。 表 示 两 个 矩阵 的 逐 元 素 


Celement-wise) 乘法 。 


Kim 方法 提出 了 男 一 个 约束 条 件 ， 即 无 雨 像素 值 应 该 比 
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录用 定稿 DIR, F: 基于 算 阵 补 全 的 自 适 应 去 雨 雪 算 法 


有 两 的 像素 值 小 ， 然 后 给 出 了 以 下 约束 矩阵 补 全 问题 : 


minimize IXI. (15) 
subject to Q-M)» X =(1-M)»B, (16) 
MoXxM»B (17) 


Kim 方法 应 用 期 望 最 大 化 (EM) 算法 求解 上 述 约束 优 
化 问题 。 在 第 上 次 迭代 的 期 望 步骤 CE 步 ) 中 构建 了 一 个 补 
全 矩阵: 


X0 Z(1- M)eB- M«(Y? AB). (18) 
其 中 ， 第 一 项 是 不 含 雨 线 部 分 ， 即 提取 输入 和 矩阵 B 中 的 元 素 
放 在 无 雨 像素 处 ; 第 二 项 是 含 雨 线 部 分 , 即将 当前 估计 Yo 的 
元 素 放 在 有 雨 像素 处 。 
在 最 大 化 步骤 CM 步 ) 中 将 Yo SESS x 的 一 个 低 秩 近 
似 ， 并 对 XO 进行 奇异 值 分 解 ， 得 到 
XO VAWT, (19) 
其 中 : V 表示 旋转 和 矩阵 4 表示 由 奇异 值 组 成 的 对 角 和 矩阵 。 
Kim 方法 将 当前 估计 Ye 更 新 为 ZXo 的 一 个 低 秩 近似 : 
Yd VH, (AWT, (20) 
其 中 : H 是 一 个 算 子 ， 如 果 H FAE k=2000, 则 及 把 4 
中 的 每 一 个 奇异 值 截断 为 0。 
Kim 方法 反复 地 迭代 EE 步 和 M 步 ， 直 到 满足 以 下 停止 
标准 : 


[YO -Ye «e Or t= tnxs (21) 
其 中 : ded. 表示 像素 值 之 间 的 平均 绝对 差 ， 此 处 ， e=0.05, 
EU 

Kim 方 使 用 得 到 的 最 佳 补 全 和 矩阵 名 中 的 相应 元 素来 蔡 
换 输 入 块 b 中 的 雨 像素 ， 从 而 去 除 视 频 中 的 雨 线 。 由 于 Kim 
方法 中 没有 考虑 到 参数 自 适应 的 问题 ， 因 此 为 了 提高 视频 中 
雨 雪 的 去 除 性 能 ， 本 文 在 Kim 模型 (18) 的 第 二 项 中 添加 了 
一 个 自 适应 参数 7 得 到 一 个 改进 的 矩阵 补 全 模型 Yo ， 由 下 
式 给 出 : 


Xo -ü- M)o B«T-(M «(Y9 AB). (22) 
从 实验 结果 可 以 看 出 , 添加 到 Kim 模型 第 二 项 的 自 适 应 
参数 7 对 视频 去 雨 有 着 重大 的 影响 。 


2 ”实验 及 结果 分 析 


本 文 实验 主要 分 为 三 部 分 ， 第 一 部 分 实验 使 用 两 组 合成 
数据 集 来 验证 所 添加 的 自 适 应 参数 的 有 效 性 ， 并 确定 出 最 佳 
参数 搜索 范围 。 第 一 部 分 实验 的 搜索 范围 为 : 0.5--1.5( 本 文 
经 过 大 量 实验 , 最 终 将 搜索 范围 缩小 为 0.5--1.5), 步 长 为 0.1， 
使 用 网 格 搜索 法 进行 搜索 。 第 二 部 分 实验 使 用 两 组 合成 雨 视 
频 进一步 验证 自 适 应 参数 的 优异 性 ， 并 且 这 两 组 视频 序列 具 
有 不 同 大 小 的 雨 线 。 通 过 第 一 部 分 实验 确定 的 最 佳 搜 索 范围 
为 : 0.980--1.020， 步 长 为 0.005， 使 用 网 格 搜索 法 找到 去 雨 
效果 最 好 的 参数 。 第 三 部 分 实验 在 自然 十 视频 序列 和 电视 剧 
中 截取 的 雪 视 频 序列 上 验证 该 自 适应 参数 的 有 效 性 及 雨 线 去 
除 性 能 。 
在 这 些 数 据 集中 ， 使 用 的 自然 雨 视频 序列 是 由 移动 相机 
拍摄 的 。 实 验 中 采用 的 电视 剧 视频 序列 是 通过 视频 编辑 软件 
从 电视 剧 中 截取 的 。 至 于 本 文 实验 中 使 用 的 合成 视频 序列 是 
从 以 下 网 站 中 下 载 的 : http:/www.changedetection.net/. 合 成 数 
Ji R E Hi “Boats,” "Highway" "Niagara" “Porb”， 其 中 
“Niagara” 来 自 Kim 方法 中 的 数据 集 。 实 验 中 使 用 'Adobe After 
Effect ®’[20 来 合成 不 同类 型 的 雨 线 。 对 于 自然 视频 序列 和 截 
取 的 电视 剧 视频 序列 ， 本 文 根 据 视频 序列 中 的 人 物 信息 给 视 
频 命 名 , 而 合成 视频 序列 则 使 用 原 数 据 集 名 称 。 实 验 完成 后 ， 
使 用 六 项 图 像 质量 评价 IQA) 指标 来 评价 添加 了 自 适应 参 


c 


数 后 的 去 十 效果 。 这 六 项 图 
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像 质 量 评价 指标 分 别 是 PSNRP, 


SSIMU?, MS-SSIM?, vIFU4, FSIMOS, UQIPS , 
图 1 显示 了 具有 快速 移动 车 辆 的 “Highway” 和 具有 复杂 


接近 干净 (Groundtruth) 图 
有 线 ， 但 是 仍 残 留 有 大 量 的 雨 线 在 图 片 中 。 这 是 由 于 在 输 
入 帧 中 具有 大 量 的 重 欠 雨 线 ， 而 重 针 的 雨 线 相对 于 其 他 雨 线 
更 加 厚重 ， 像 素 值 比较 大 ， 
适应 参数 后 去 雨 的 效果 明显 提高 了 ， 在 图 中 只 残留 有 少量 的 


的 


所 有 雨 线 ， 但 并 没有 去 除 


|， 几 乎 没有 搜索 到 雨 线 ， 


的 运动 对 象 的 “Boats” 视 频 序列 的 雨 线 去 除 结果 。 由 图 1 可知 
自 适应 参数 7 取 不 同 值 时 ， 
由 | 
除 结果 并 不 理想 。 当 7T=1.0 
上 去 除了 所 有 雨 线 。 然 而 当 T=1.5 时 ， 虽 然 准 确 的 检测 出 了 


得 到 的 去 雨 结果 不 同 。 当 T=0.5 
并 且 图 片 被 网 格 所 覆盖 ， 导 致 去 
时 ， 图 片 虽然 有 些 模糊 ， 但 基本 


图 片 中 的 雨 线 。 这 里 只 展示 了 分 别 


取 0.5,1.0,1.5 时 的 去 雨 结果 图 ， 为 了 更 好 的 展示 本 文 提出 算 


(a 


(a) Input frame 


法 的 有 效 性 ， 本 文 将 具体 的 实验 结果 通过 折线 图 的 形式 展现 
出 来 ， 并 给 出 了 所 取 参 数值 在 六 项 评价 指标 上 的 结 


) 输入 帧 


( 


ft 


> 


雨 掩 模 


e) T=1.5 
图 1 Highway” 和 “Boats” 视 频 序 列 的 去 雨 结 果 
Fig. 1 Deraining results for “Highway” and "Boats" video sequences 


图 2 可 知 ， 添 加 了 自 适应 参数 后 得 到 的 去 雨 图 片 更 加 


Fo 虽然 Kim 方法 去 除了 大 部 分 


所 以 比较 难以 去 除 ， 而 添加 了 自 


月 


jk. SCUSA BLANC 


“Boats” 上 的 去 月 


频 


页 去 十 的 效果 。 


加 的 自 适 应 参数 7 明显 提高 了 视 


3 和 4 分 别 展示 了 不 同 自 适应 参数 在 “Highway” 和 


了 结果， 并 给 出 了 所 取 参 数 得 到 的 相应 指标 


值 。 由 于 PSNR 值 与 其 他 五 项 评价 指标 值 的 差异 较 大 ， 为 了 


更 好 的 展现 出 本 文 算法 的 


效 性 和 优异 性 ， 本 文 将 PSNR 指 
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录用 定稿 
标 和 其 他 五 项 指标 分 开展 示 。 此 外 ， 将 参数 7 在 搜索 范围 内 


按照 步 长 取 值 的 六 项 评价 指标 值 与 输入 帧 〈 图 中 横 坐 标 为 
“Input HIRO 的 六 项 评价 指标 值 进 行 对 比 。 由 图 3 和 4 的 对 
比 结果 可 知 ， 添 加 的 自 适应 参数 7 取 不 同 值 时 ， 得 到 的 各 项 
评价 指标 值 也 不 同 , 特别 是 PSNR 值 的 变化 最 为 明显 。 因 此 ， 
数据 集 “Highway” 和 “Boats” 的 实验 结果 验证 了 本 文 所 添加 的 
自 适应 参数 7 的 有 效 性 , 并 给 出 了 参数 7 的 最 佳 搜 索 范围 为 : 
0.980-1.020. 

图 5 和 6 分 别 展示 了 参数 7 在 最 佳 搜索 范围 内 的 去 两 结 
果 。 首 先 ， 给 出 了 参数 7 在 该 范围 内 按照 步 长 取 值 的 六 项 评 
价 指标 值 ， 并 展示 了 最 佳 搜索 范围 内 的 参数 与 输入 帧 、Kim 
方法 (图 中 横 坐 标 为 Kim” 的 点 ) 的 对 比 结果 。 
实验 结果 知 ， 各 评价 指标 值 在 此 范围 内 波动 较 小 ， 基 本 上 趋 
于 平稳 。 通 过 数据 集 “Niagara” 和 “Port” 的 去 雨 结果 可 知 ， 
应 参数 7 在 不 同 数据 集 上 取得 最 佳 去 除 效果 的 参数 取 值 不 
同 ， 进 一 步 验证 了 7 的 自 适应 性 。 这 里 特别 说 明 当 自 适应 参 
数 T=1.000 时 的 结果 为 何 与 Kim 方法 的 不 同 ， 这 是 因为 本 文 
在 实验 时 每 取 一 个 参数 值 时 都 重新 提取 十 图 并 进行 优化 ， 所 
以 这 里 的 Kim 方法 和 7=1000 时 的 结果 不 同 。 如 果 使 用 同一 


t 


到 nj 


幅 雨 图 ， 则 两 者 结果 相同 。 这 反映 出 了 该 参数 的 自 适 应 性 和 
实时 应 用 的 广泛 性 。 
为 了 进一步 验证 自 适应 参数 7 的 优异 性 ， 使 用 一 组 截取 


的 真实 雪 视 频 和 一 组 移动 相机 拍摄 的 自然 雨 视频 进行 实验 。 
由 于 现在 的 雨 雪 添 加 技术 不 断 地 提高 ， 所 以 电视 剧 中 的 雪 和 
真实 的 雪 几 乎 没有 区 别 。 从 图 7 的 输入 帧 可 以 看 出 ， 视 频 中 
的 雪 很 大 ， 雪 线 密集 且 多 有 重 闭 。 由 去 雪 结 果 可 见 ， 添 加 了 
自 适应 参数 后 几乎 去 除了 所 有 的 雪线 ， 同 时 如 实地 保留 了 图 


DLR, F: 基于 纸 阵 补 全 的 自 适应 去 雨 雪 算法 
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够 有 效 地 去 除 视频 中 的 雨 雪 。 


片 信息 。 但 是 在 雪线 密集 重 且 的 地 方 残留 着 一 些 比较 浅 的 雪 


痕 ， 不 过 这 并 不 影响 图 片 的 清晰 度 和 后 续 分 析 应 用 。 图 7 中 
有 一 个 雨中 漫步 的 男孩 ， 从 二 进 制 雨 掩 模 可 以 看 出 十 线 十 分 
密集 。 添 加 自 适应 参数 后 去 除了 输入 帧 中 所 有 雨 线 ， 并 且 去 
雨 后 的 图 片 十 分 清晰 。 实 验 结果 表明 ， 添 加 的 自 适应 参数 能 
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O 本 文 方法 
(d) The proposed method 
Kim 方法 与 本 文 方法 在 “Niagara” 和 “Port”* 视 频 序列 上 的 
去 雨 结果 对 比 


Rain removal results comparison of the Kim method and the 


proposed method on “Niagara” and “Port” video sequences 
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图 3 自 适应 参数 7 取 不 同 值 时 在 数据 集 “Highway” 上 的 实验 结果 以 及 与 输入 帧 的 对 比 结果 
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Fig.3 Experimental results of data set "Highway" when adaptive parameter T takes different values, and comparison results with the input frame 
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图 4 自 适应 参数 7 取 不 同 值 时 在 数据 集 “Boats* 上 的 实验 结果 以 及 与 输入 帧 的 对 比 结 


Fig.4 Experimental results of data set "Boats" when adaptive parameter T takes different values, and the comparison results with input frame 
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Fig.5 Comparison results of the best adaptive parameters with input frame and Kim method on data set "Niagara" 
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Fig.6 Comparison results of the best adaptive parameters with input frame and Kim method on data set "Port" 
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(b) Input frame(" Boy") 


(c) 二 进 制 雪 掩 模 (“Ruo Xi" ) 


© Binary snow masks("Ruo Xi") 


(d) ZHR RNE "Boy" ) 


(d) Binary rain masks("Boy") 


Fig.7 Removal results of "Ruo Xi" and "Boy" video sequences (Original "Ruo Xi" 


(e) 本 文 方法 (“Ruo Xi" ) 
(e) The proposed method("Ruo Xi") 


| — x 
(f) 本 文 方法 (“Boy”) 
(f) The proposed method("Boy") 


图 7 “Ruo Xi” 和 “Boy” 视 频 序列 的 去 除 结果 《〈 原 “Ruo Xi” 视 频 序列 来 自 电 视 剧 《 步 步 惊 心 》， 
该 电视 剧 由 上 海 唐人 电影 制作 有 限 公司 和 湖南 卫视 联合 出 品 ， 视 频 中 出 现 的 人 物 由 刘 诗 诗 饰 演 ) 


video sequence comes from the TV series "Step by Step", which was 


produced by Shanghai Tangren Film Production Corporation and Hunan Satellite TV. The characters appearing in the video is played by Liu Shishi) 


3 ”结束 语 


本 文 在 经 } 


异性 。 大 量 实验 结果 表 


明 ， 添 加 的 


自 适应 参数 是 有 效 的 ， 并 


且 很 大 程度 上 提高 了 视 
时 


加 到 Kim 模型 的 第 二 


项 中 ， 


的 Kim 方法 上 进行 改进 , 将 自 适 应 参数 7 添 二 
提出 了 基于 和 矩阵 补 全 的 自 适 应 


完整 地 保留 了 图 片 中 
频 图 像 的 雨 雪 


雨 雪 算法 。 在 本 文中 ， 首 先 ， 通 过 实验 验证 了 所 加 参数 的 
即 自 适应 参数 取 不 同 值 时 具 
次 , 应 用 网 格 搜索 法 找 


有 效 性 ， 


确定 最 佳 的 参数 


有 不 同 的 去 十 
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